Select, Compress, Reinvest: A Controlled Study of Visual-Token Allocation in Long-Video MLLMs
选择、压缩、再投资：长视频多模态大模型视觉Token分配的控制研究
🧭 长视频MLLM视觉Token分配优化
Independent Researcher
控制变量实验表明帧选择是长视频理解最大杠杆，经典OMP算法与专用选择器性能相当
📌 工作参考价值（4 点）
- 预算固定的优化思路可直接迁移到多模态推荐/广告素材理解：若系统只能用固定数量的视频帧或图像Token表示商品视频/广告创意，优先投资帧选择（比均匀采样提升显著），再考虑空间压缩，并把压缩节省的Token用于增加采样帧数，两步结合可带来2-3个点准确率提升。
- OMP等经典稀疏近似算法可作为轻量、无训练的特征/帧选择器：在视频理解、商品短视频标签抽取、直播切片推荐等场景，无需训练专用选择器，直接用OMP挑选最具信息量的帧或片段，能匹配甚至超过专用模型，工程实现成本极低。
- 对多模态模型评测/迭代：务必在同一统一框架内做控制变量。论文发现相同规则在不同harness间有0.07-3.74点差距，自己的AKS基线也有实现bug，说明跨论文比较或直接套用他人结果风险高；业务中应构建内部统一的视觉Token分配评测管道，逐步替换单个变量（选择、压缩、分辨率）以定位真实收益。
- 压缩必须配合再投资才有效：单独压缩帧分辨率几乎是免费的（损失≤0.44点），但如果不把节省的Token花到更多帧上，就没有精度收益；该结论可指导资源受限场景下的多模态特征预算分配策略。